강화 학습

3. 기본 원리

강화 학습은 마르코프 결정 과정(MDP)을 기반으로 하며, 에이전트가 환경과 상호작용하며 누적 보상을 최대화하는 최적의 정책을 학습하는 것을 목표로 한다.

강화 학습은 지도 학습과 달리 온라인 수행에 중점을 두며, 아직 조사되지 않은 영역을 탐험하는 것(탐험)과 이미 알고 있는 지식을 이용하는 것(활용) 사이의 균형을 잡는 것이 중요하다.

강화 학습 모델은 환경 상태 집합 ($S$), 행동 집합 ($A$), 포상 집합 ($\backslash in\; \backslash mathbb\{R\}$)으로 구성된다. 매 시점 $t$에 에이전트는 자신의 상태 $s\_t\; \backslash in\; S$와 가능한 행동 $A(s\_t)$를 가진다. 에이전트가 특정 행동 $a\; \backslash in\; A(s\_t)$를 취하면, 환경으로부터 새로운 상태 $s\_\{t+1\}$와 포상 $r\_\{t+1\}$을 받는다. 이러한 상호작용을 통해 강화 학습 에이전트는 누적된 포상값 $R$을 최대화하는 정책($\backslash pi:\; S\; \backslash rightarrow\; A$)을 개발한다.

종료 상태가 있는 MDP에서는 $R=r\_0+r\_1+\backslash cdots+r\_n\; =\; \backslash sum\_\{t=1\}^n\; r\_t$이고, 그렇지 않은 MDP에서는 $R\; =\; \backslash sum\_\{t=1\}^n\; \backslash gamma^t\; r\_t$가 된다. 여기서 $\backslash gamma$는 미래의 포상이 현재에 얼마나 가치 있는지를 나타내는 할인율(discount factor)로, 0과 1 사이의 값이다.

강화 학습은 그 일반성 때문에 게임 이론, 제어 이론, 작전 연구, 정보 이론 등 다양한 분야에서 연구되고 있다. 작전 연구 및 제어 분야에서는 강화 학습을 '근사 동적 계획법' 또는 '신경 동적 계획법'이라고 부르기도 한다.

기본적인 강화 학습은 마르코프 결정 과정으로 모델링되며, 에이전트는 이산적인 시간 단계에서 환경과 상호 작용한다. 에이전트는 각 시간 단계에서 현재 상태와 보상을 받고, 행동을 선택하여 환경에 전달한다. 환경은 새로운 상태로 이동하고, 전이와 관련된 보상이 결정된다. 강화 학습 에이전트의 목표는 기대 누적 보상을 최대화하는 정책을 학습하는 것이다.

문제를 마르코프 결정 과정으로 공식화할 때는 에이전트가 현재 환경 상태를 직접 관찰한다고 가정하며, 이를 '완전 관측 가능성'이라고 한다. 반면 에이전트가 일부 상태만 관찰하거나 관찰된 상태가 노이즈에 의해 손상된 경우에는 '부분 관측 가능성'을 가지며, 부분 관측 가능 마르코프 결정 과정으로 공식화해야 한다.

에이전트의 성능은 최적으로 행동하는 에이전트와 비교하여 후회(regret)라는 개념으로 평가할 수 있다. 최적으로 행동하기 위해 에이전트는 행동의 장기적인 결과, 즉 미래의 보상을 최대화하는 방향으로 학습해야 한다.

강화 학습은 에너지 저장,^[6] 로봇 제어,^[7] 태양광 발전기,^[8] 백개먼, 체커, 바둑(알파고), 자율 주행 시스템^[9] 등 다양한 문제에 성공적으로 적용되어 왔다.

강화 학습을 강력하게 만드는 두 가지 요소는 성능 최적화를 위한 표본의 사용과 대규모 환경 처리를 위한 함수 근사의 사용이다. 이러한 요소들 덕분에 강화 학습은 환경의 모델은 알려져 있지만 해석적 해를 사용할 수 없거나, 환경의 시뮬레이션 모델만 제공되거나, 환경에 대한 정보를 수집하는 유일한 방법이 환경과 상호 작용하는 경우와 같은 상황에서 대규모 환경에 사용될 수 있다.^[10]

3. 1. 마르코프 결정 과정 (MDP)

• 환경 및 에이전트 상태의 집합(상태 공간), $\backslash mathcal\{S\}$
• 에이전트의 행동 집합(행동 공간), $\backslash mathcal\{A\}$
• $P\_a(s,s\text{'})=\backslash Pr(S\_\{t+1\}=s\text{'}\backslash mid\; S\_t=s,\; A\_t=a)$: 행동 $a$ 하에서 시간 $t$에 상태 $s$에서 상태 $s\text{'}$로의 전이 확률.
• $R\_a(s,s\text{'})$: 행동 $a$ 하에서 $s$에서 $s\text{'}$로 전이 후의 즉각적인 보상.

3. 2. 주요 개념

• 환경 상태 집합: $S$
• 행동 집합: $A$
• 보상 집합: $(\backslash in\; \backslash mathbb\{R\})$

• 정책(Policy): 각 상태에서 에이전트가 어떤 행동을 선택할지 결정하는 규칙이다. 최적의 정책은 장기적인 보상을 최대화한다.
• 가치 함수(Value Function): 특정 상태 또는 상태-행동 쌍의 장기적인 가치를 나타내는 함수이다. 주어진 상태가 얼마나 "좋은지"를 추정한다.^[13] 상태 가치 함수 $V\_\backslash pi(s)$는 상태 $s$에서 시작하여 정책 $\backslash pi$를 따를 때의 기대 할인 수익으로 정의된다.

• 탐험과 활용: 강화 학습 에이전트는 새로운 행동을 시도하는 탐험과 이미 학습한 최적 행동을 선택하는 활용 사이의 균형을 유지해야 한다. $\backslash varepsilon$-탐욕적 방법은 이러한 균형을 조절하는 방법 중 하나이다.^[12]
• 모델: 환경의 작동 방식을 나타내는 요소로, 에이전트가 행동의 결과를 예측하고 계획을 수립하는 데 사용된다.

3. 3. 벨만 방정식 (Bellman Equation)

4. 강화 학습 알고리즘

강화 학습 알고리즘은 크게 가치 기반, 정책 기반, 액터-크리틱, 모델 기반으로 나눌 수 있다. 강화 학습은 게임 이론, 제어 이론, 작전 연구, 정보 이론, 시뮬레이션 기반 최적화, 다중 에이전트 시스템, 스웜 인텔리전스, 통계학 등 여러 분야에서 연구된다.

기본적으로 강화 학습 문제는 마르코프 결정 과정(MDP)으로 표현되며, 동적 계획법과 관련이 깊다. 강화 학습은 온라인 수행에 중점을 두고, 탐험과 이용 사이의 균형을 잡는 것이 중요하다.

강화 학습 모델은 환경 상태 집합($S$), 행동 집합($A$), 포상 집합($\backslash in\; \backslash mathbb\{R\}$)으로 구성된다. 에이전트는 매 시점 $t$에 상태($s\_t\; \backslash in\; S$)와 가능한 행동($A(s\_t)$)을 가지고 행동하며, 환경으로부터 새로운 상태($s\_\{t+1\}$)와 포상($r\_\{t+1\}$)을 받는다. 이 상호작용을 기반으로 에이전트는 누적 포상값($R$)을 최대화하는 정책($\backslash pi:\; S\; \backslash rightarrow\; A$)을 개발한다.

강화 학습의 목적은 에이전트가 즉각적인 보상에서 누적되는 보상 함수 또는 강화 신호를 극대화하는 최적(또는 거의 최적) 정책을 학습하는 것이다. 이는 동물 심리학의 과정과 유사하다.^[4][5]

문제를 마르코프 결정 과정으로 공식화하는 것은 에이전트가 현재 환경 상태를 직접 관찰한다고 가정한다. 부분 관측 가능성은 부분 관측 가능 마르코프 결정 과정으로 공식화해야 한다.

에이전트의 성능은 최적 행동 에이전트와 비교되며, 이 차이는 후회 개념을 생성한다. 최적 행동을 위해 에이전트는 행동의 장기적 결과에 대해 추론해야 하지만, 즉각적인 보상은 부정적일 수 있다.

강화 학습은 에너지 저장,^[6] 로봇 제어,^[7] 태양광 발전기,^[8] 백개먼, 체커, 바둑(알파고), 자율 주행 시스템^[9] 등에 적용되었다.

강화 학습을 강력하게 만드는 두 가지 요소는 성능 최적화를 위한 표본 사용과 대규모 환경 처리를 위한 함수 근사 사용이다.

상태가 관측 가능하다고 가정해도, 과거 경험으로 어떤 행동이 높은 누적 보상으로 이어지는지 알아내는 문제가 남는다. 에이전트의 행동 선택은 ''정책''으로 모델링된다.

:$\backslash pi:\; \backslash mathcal\{A\}\; \backslash times\; \backslash mathcal\{S\}\; \backslash rightarrow\; [0,1]$

:$\backslash pi(a,s)\; =\; \backslash Pr(A\_t\; =\; a\; \backslash mid\; S\_t\; =\; s)$

정책 사상은 상태 $s$에서 행동 $a$를 취할 확률을 제공한다.^[13] 결정적 정책도 존재한다.

강화 학습 알고리즘은 가치 기반, 정책 기반, 액터-크리틱, 모델 기반으로 분류할 수 있다.

• 가치 기반 알고리즘: 가치 기반 알고리즘은 가치 함수를 추정하여 최적 정책을 간접적으로 찾는다.
• 정책 기반 알고리즘: 정책 기반 알고리즘은 정책을 직접 최적화한다.
• 액터-크리틱 알고리즘: 액터-크리틱 알고리즘은 가치 함수와 정책을 모두 학습한다.
• 모델 기반 알고리즘: 모델 기반 알고리즘은 환경 모델을 학습하고, 이를 이용하여 계획을 수행한다.

최근 연구: 결합 강화 학습, 심층 강화 학습, 적대적 심층 강화 학습, 퍼지 강화 학습.

4. 1. 가치 기반 알고리즘 (Value-Based Algorithm)

4. 2. 정책 기반 알고리즘 (Policy-Based Algorithm)

4. 3. 액터-크리틱 알고리즘 (Actor-Critic Algorithm)

• A3C (Asynchronous Advantage Actor-Critic): 여러 개의 에이전트(스레드)가 각자 환경과 상호작용하며 비동기적으로 학습하는 방식이다. 각 에이전트는 경험을 통해 얻은 정보를 중앙 신경망에 업데이트하고, 중앙 신경망은 다시 각 에이전트의 학습에 영향을 준다. 이러한 비동기 학습은 데이터 간 상관관계를 줄이고, 학습 속도와 효율성을 높인다.^[21]

• DDPG (Deep Deterministic Policy Gradient): 연속적인 행동 공간(예: 로봇 관절의 각도)에 적용 가능한 알고리즘이다. DDPG는 결정적 정책(Deterministic Policy)을 사용하는데, 이는 각 상태에서 하나의 최적 행동을 선택하는 방식이다. 심층 신경망(Deep Neural Network)을 사용하여 가치 함수와 정책을 근사하며, 안정적인 학습을 위해 여러 기법(예: 리플레이 버퍼, 타겟 네트워크)을 활용한다.^[21]

• PPO (Proximal Policy Optimization): 안정적이고 효율적인 정책 업데이트를 제공하는 알고리즘이다. PPO는 정책의 급격한 변화를 제한하여 학습 안정성을 높이고, 샘플 효율성을 개선하여 더 적은 데이터로도 좋은 성능을 낼 수 있도록 한다. TRPO와 유사한 목표를 가지지만, 구현이 더 간단하고 일반적인 환경에서 더 나은 성능을 보이는 경향이 있다.^[21]

4. 4. 모델 기반 알고리즘 (Model-Based Algorithm)

• 환경의 모델은 알려져 있지만, 해석적인 해(analytic solution)를 구할 수 없는 경우
• 환경의 시뮬레이션 모델만 주어지는 경우 (시뮬레이션 기반 최적화)^[10]
• 환경과 상호작용하는 것만이 정보를 얻을 수 있는 유일한 방법인 경우

5. 심층 강화 학습

심층 강화 학습(Deep Reinforcement Learning, DRL)은 강화 학습과 심층 신경망을 결합한 방법으로, 이미지나 자연어 처리와 같이 복잡한 문제를 해결하는 데 효과적이다.^[110]

Google 딥마인드(DeepMind)가 아타리 2600 게임을 위해 개발한 심층 Q-네트워크(Deep Q-Network, DQN)는 심층 강화 학습의 대표적인 예시이다. DQN은 상태 공간을 명시적으로 설계하지 않고 강화 학습을 확장하여 주목받았다.^[111]

다음은 주요 심층 강화 학습 알고리즘이다.

6. 강화 학습의 응용

강화 학습은 게임 이론, 제어 이론, 작전 연구, 정보 이론, 시뮬레이션 기반 최적화, 다중 에이전트 시스템, 스웜 인텔리전스, 통계학 등 여러 분야에서 연구되고 있다. 작전 연구 및 제어 분야에서는 '근사 동적 계획법' 또는 '신경 동적 계획법'이라고도 불린다. 최적 제어 이론에서도 강화 학습과 관련된 문제들을 연구하지만, 주로 최적 해의 존재와 특성, 정확한 계산 알고리즘에 집중하며 학습이나 근사에는 상대적으로 관심이 적다.

기본적인 강화 학습은 마르코프 결정 과정으로 모델링되며, 다음 요소를 포함한다.

• 환경 및 에이전트 상태 집합 (상태 공간): $\backslash mathcal\{S\}$
• 에이전트 행동 집합 (행동 공간): $\backslash mathcal\{A\}$
• 상태 전이 확률: $P\_a(s,s\text{'})=\backslash Pr(S\_\{t+1\}=s\text{'}\backslash mid\; S\_t=s,\; A\_t=a)$ (행동 $a$를 취했을 때 상태 $s$에서 $s\text{'}$로 이동할 확률)
• 즉각적인 보상: $R\_a(s,s\text{'})$ (행동 $a$를 취하고 $s$에서 $s\text{'}$로 이동한 후 받는 보상)

6. 1. 게임

6. 2. 로봇 공학

6. 3. 자율 주행

6. 4. 기타 응용 분야

7. 강화 학습의 한계와 과제

강화 학습은 게임 이론, 제어 이론 등 여러 분야에서 연구되고 있지만, 몇 가지 한계와 과제를 안고 있다. 강화 학습은 기본적으로 마르코프 결정 과정으로 모델링되며, 에이전트는 특정 상태에서 특정 행동을 했을 때의 전이 확률과 즉각적인 보상을 바탕으로 누적 보상을 최대화하는 정책을 학습한다. 이는 동물 심리학의 강화 과정과 유사하며, 생물학적 뇌가 긍정적/부정적 강화를 통해 행동을 학습하는 것과 비슷하다.^[4][5]

강화 학습은 장기적인 보상과 단기적인 보상 사이의 균형을 맞추는 문제에 적합하며, 에너지 저장,^[6] 로봇 제어,^[7] 태양광 발전기,^[8] 백개먼, 체커, 바둑(알파고), 자율 주행 시스템^[9] 등 다양한 분야에 성공적으로 적용되었다. 특히, 환경의 모델을 알 수 없거나 시뮬레이션 모델만 제공되는 경우, 또는 환경과의 상호작용을 통해서만 정보를 얻을 수 있는 경우에 유용하다.

하지만, 강화 학습의 효율적인 탐색 문제는 여전히 연구 과제로 남아있으며, 많은 알고리즘의 성능 경계가 느슨하다는 한계가 있다. 또한, 증분 알고리즘의 점근적 수렴 문제는 해결되었지만, 시간차 기반 알고리즘은 더 넓은 조건에서 수렴하는 경향이 있다.

현재 주요 연구 주제는 다음과 같다:

• 액터-크리틱 구조^[27] 및 액터-크리틱-배경 구조^[3]
• 적응형 방법, 소프트웨어 버그 탐지,^[28] 지속적인 학습
• 논리 기반 프레임워크와의 결합,^[29] 인간 피드백,^[30] 내적 동기
• 대규모/모듈식/계층적 강화 학습,^[31] 다중 에이전트/분산 강화 학습^[32]
• 거주자 중심 제어, 컴퓨팅 자원 최적화,^[33][34][35] 부분 정보,^[36][37][38] 표본 기반 계획, 증권 거래,^[39] 전이 학습^[40]
• 뇌의 도파민 기반 학습 모델링, 가치 함수 및 정책 탐색 방법

7. 1. 샘플 효율성 (Sample Efficiency)

7. 2. 안전성 (Safety)

7. 3. 일반화 성능 (Generalization)

7. 4. 편향과 공정성 (Bias and Fairness)

• 채용: 기업은 단기 생산성 향상을 위해 특정 인구 통계 집단의 지원자를 선호할 수 있지만, 이는 장기적으로 기여할 수 있는 다양한 후보자를 배제할 수 있다.
• 대출: 단기적인 위험 평가에만 기반을 둔 강화 학습은 특정 집단을 불리하게 만들 수 있다. 예를 들어, 정부의 대출 시스템이 돈을 갚을 능력만 고려하면 가장 도움이 필요한 사람들이 대출을 받지 못할 수 있다.^[68]
• 입학: 대학 입학 전략이 과거 성공 지표와 일치하는 지원자에게만 초점을 맞추면 소외된 배경을 가진 잠재적인 학생들을 놓칠 수 있으며, 이는 장기적인 다양성과 기관의 강점에 영향을 미칠 수 있다.^[68]

8. 결론

강화 학습은 게임 이론, 제어 이론, 작전 연구, 정보 이론, 시뮬레이션 기반 최적화, 다중 에이전트 시스템, 스웜 인텔리전스, 통계학 등 여러 분야에서 연구되고 있다. 작전 연구 및 제어 분야에서는 강화 학습을 ''근사 동적 계획법'' 또는 ''신경 동적 계획법''이라고도 부른다. 강화 학습은 최적 제어 이론에서도 연구되었는데, 주로 최적 해의 존재와 특성, 그리고 정확한 계산을 위한 알고리즘에 관심을 두고 학습이나 근사에는 덜 관심을 둔다.^[4][5]

강화 학습은 에너지 저장,^[6] 로봇 제어,^[7] 태양광 발전기,^[8] 백개먼, 체커, 바둑(알파고), 자율 주행 시스템^[9] 등 다양한 문제에 성공적으로 적용되었다.

강화 학습을 강력하게 만드는 두 가지 요소는 성능 최적화를 위한 표본의 사용과 대규모 환경 처리를 위한 함수 근사의 사용이다. 이 두 가지 주요 구성 요소 덕분에 강화 학습은 다음과 같은 상황에서 대규모 환경에 사용될 수 있다.

• 환경의 모델은 알려져 있지만 해석적 해는 사용할 수 없다.
• 환경의 시뮬레이션 모델만 제공된다(시뮬레이션 기반 최적화).^[10]
• 환경에 대한 정보를 수집하는 유일한 방법은 환경과 상호 작용하는 것이다.

참조

_[1] 논문 Reinforcement Learning: A Survey http://www.cs.washin[...]
_[2] 서적 Reinforcement Learning
_[3] 서적 Reinforcement Learning for Sequential Decision and Optimal Control https://link.springe[...] 2023
_[4] 서적 Artificial intelligence : a modern approach 2010
_[5] 논문 Neural Basis of Reinforcement Learning and Decision Making 2012-07-21
_[6] 논문 Community energy storage operation via reinforcement learning with eligibility traces 2022
_[7] arXiv ALLSTEPS: Curriculum-driven Learning of Stepping Stone Skills 2020
_[8] 논문 Optimal dispatch of PV inverters in unbalanced distribution systems using Reinforcement Learning 2022
_[9] 논문 Self-Learned Intelligence for Integrated Decision and Control of Automated Vehicles at Signalized Intersections https://ieeexplore.i[...] 2022
_[10] 서적 Simulation-based Optimization: Parametric Optimization Techniques and Reinforcement https://www.springer[...] Springer
_[11] 논문 Optimal adaptive policies for Markov Decision Processes
_[12] 간행물 KI 2011: Advances in Artificial Intelligence Springer
_[13] 웹사이트 Reinforcement learning: An introduction http://people.inf.el[...] 2017-07-23
_[14] 논문 Reinforcement learning with replacing eligibility traces https://link.springe[...] 1996-03-01
_[15] 논문 Temporal Credit Assignment in Reinforcement Learning http://incompleteide[...] University of Massachusetts, Amherst, MA 2017-03-29
_[16] 논문 Learning to predict by the method of temporal differences
_[17] 논문 Learning from Delayed Rewards http://www.cs.rhul.a[...] King’s College, Cambridge, UK
_[18] 논문 Detection of Static and Mobile Targets by an Autonomous Agent with Deep Q-Learning Abilities
_[19] 학회 A class of gradient-estimating algorithms for reinforcement learning in neural networks
_[20] 학회 Reinforcement Learning for Humanoid Robotics http://www-clmc.usc.[...]
_[21] 웹사이트 Simple Reinforcement Learning with Tensorflow Part 8: Asynchronous Actor-Critic Agents (A3C) https://medium.com/e[...] 2018-02-22
_[22] 서적 A Survey on Policy Search for Robotics http://eprints.linco[...] NOW Publishers
_[23] 학회 Integrated Architectures for Learning, Planning and Reacting based on Dynamic Programming
_[24] 학회 Self-improving reactive agents based on reinforcement learning, planning and teaching https://link.springe[...]
_[25] 서적 Chapter 7 - Meta-reinforcement learning https://www.scienced[...] Academic Press 2023-11-08
_[26] 학회 When to use parametric models in reinforcement learning? https://proceedings.[...]
_[27] 논문 Efficient Model Learning Methods for Actor–Critic Control https://dl.acm.org/d[...] 2012-06-01
_[28] 웹사이트 On the Use of Reinforcement Learning for Testing Game Mechanics : ACM - Computers in Entertainment https://cie.acm.org/[...] 2018-11-27
_[29] 논문 A probabilistic argumentation framework for reinforcement learning agents 2019
_[30] arXiv Reinforcement Learning with Feedback from Multiple Humans with Diverse Skills 2021-11-16
_[31] 논문 Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation http://dl.acm.org/ci[...] Curran Associates Inc. 2016
_[32] 웹사이트 Reinforcement Learning / Successes of Reinforcement Learning http://umichrl.pbwor[...] 2017-08-06
_[33] 학회 2020 Design, Automation & Test in Europe Conference & Exhibition (DATE) http://repository.es[...] 2020-03
_[34] 웹사이트 Smartphones get smarter with Essex innovation https://www.business[...] 2021-06-17
_[35] 웹사이트 Future smartphones 'will prolong their own battery life by monitoring owners' behaviour' https://inews.co.uk/[...] 2021-06-17
_[36] 논문 Maximizing Learning Progress: An Internal Reward System for Development Springer
_[37] 논문 Keep your options open: an information-based driving principle for sensorimotor systems
_[38] 서적 Intrinsically Motivated Learning in Natural and Artificial Systems https://people.cs.um[...] Springer
_[39] 논문 Deep Execution - Value and Policy Based Reinforcement Learning for Trading and Beating Market Benchmarks 2020
_[40] 논문 Self-organizing maps for storage and transfer of knowledge in reinforcement learning 2019
_[41] 논문 Distributional Soft Actor-Critic: Off-policy reinforcement learning for addressing value estimation errors https://ieeexplore.i[...]
_[42] 논문 Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic
_[43] 논문 DSAC-T: Distributional Soft Actor-Critic with Three Refinements 2023-10-26
_[44] 서적 Dynamic, Genetic and Chaotic Programming: The Sixth-Generation Computer Technology Series John Wiley & Sons, Inc 1992-05-06
_[45] 논문 An Introduction to Deep Reinforcement Learning
_[46] 논문 Human-level control through deep reinforcement learning
_[47] 논문 Explaining and Harnessing Adversarial Examples 2015
_[48] 서적 Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks 2017
_[49] 서적 Adversarial Attacks on Neural Network Policies http://worldcat.org/[...] 2017-02-07
_[50] 논문 Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs. 2022
_[51] 서적 Fuzzy Q-learning: a new approach for fuzzy dynamic programming IEEE 1994
_[52] 서적 Fuzzy rule interpolation and reinforcement learning IEEE 2017
_[53] 서적 Algorithms for Inverse Reinforcement Learning
_[54] 논문 Maximum entropy inverse reinforcement learning https://dl.acm.org/d[...] AAAI Press 2008-07-13
_[55] 논문 Trajectory modeling via random utility inverse reinforcement learning https://doi.org/10.1[...] 2024-03
_[56] 논문 A comprehensive survey on safe reinforcement learning https://jmlr.org/pap[...] 2015-01-01
_[57] 논문 Implicit Quantile Networks for Distributional Reinforcement Learning https://proceedings.[...] PMLR 2018-07-03
_[58] 논문 Risk-Sensitive and Robust Decision-Making: a CVaR Optimization Approach https://proceedings.[...] Curran Associates, Inc. 2015
_[59] 웹사이트 Train Hard, Fight Easy: Robust Meta Reinforcement Learning https://scholar.goog[...] 2024-06-21
_[60] 논문 Optimizing the CVaR via Sampling https://ojs.aaai.org[...] 2015-02-21
_[61] 논문 Efficient Risk-Averse Reinforcement Learning https://proceedings.[...] 2022-12-06
_[62] 서적 A self-learning system using secondary reinforcement
_[63] 간행물 Neuro genetic agents and structural theory of self-reinforcement learning systems https://web.cs.umass[...] University of Massachusetts at Amherst
_[64] 논문 Modeling mechanisms of cognition-emotion interaction in artificial neural networks, since 1981.
_[65] 논문 Implementation Matters in Deep RL: A Case Study on PPO and TRPO https://openreview.n[...] 2019-09-25
_[66] 논문 A Hitchhiker's Guide to Statistical Comparisons of Reinforcement Learning Algorithms https://openreview.n[...] 2019-03-06
_[67] 논문 Detecting Rewards Deterioration in Episodic Reinforcement Learning https://proceedings.[...] PMLR 2021-07-01
_[68] 논문 Fairness in Reinforcement Learning 2016-11-09
_[69] 논문 Fairness in Reinforcement Learning: A Survey 2024-05-11
_[70] 논문 Fairness-Sensitive Policy-Gradient Reinforcement Learning for Reducing Bias in Robotic Assistance 2023-06-07
_[71] 논문 Fairness in Reinforcement Learning: A Survey 2024-05-11
_[72] 학술지 Balancing Between Accuracy and Fairness for Interactive Recommendation with Reinforcement Learning https://link.springe[...] 2020-05-06
_[73] 학술지 Reinforcement Learning: A Survey http://www.cs.washin[...]
_[74] 서적 Reinforcement learning and markov decision processes
_[75] 서적 Artificial intelligence : a modern approach 2010
_[76] 학술지 Neural Basis of Reinforcement Learning and Decision Making 2012-07-21
_[77] 간행물 ALLSTEPS: Curriculum‐driven Learning of Stepping Stone Skills https://arxiv.org/pd[...]
_[78] 서적 Simulation-based Optimization: Parametric Optimization Techniques and Reinforcement https://www.springer[...] Springer
_[79] 논문 Optimal adaptive policies for Markov Decision Processes
_[80] 논문 KI 2011: Advances in Artificial Intelligence Springer
_[81] 웹사이트 Reinforcement learning: An introduction http://people.inf.el[...] 2023-05-12
_[82] 논문 Temporal Credit Assignment in Reinforcement Learning http://incompleteide[...] University of Massachusetts, Amherst, MA
_[83] 학술지 Learning to predict by the method of temporal differences
_[84] 논문 Learning from Delayed Rewards http://www.cs.rhul.a[...] King’s College, Cambridge, UK
_[85] 학술지 Detection of Static and Mobile Targets by an Autonomous Agent with Deep Q-Learning Abilities
_[86] 학회 A class of gradient-estimating algorithms for reinforcement learning in neural networks
_[87] 학회 Reinforcement Learning for Humanoid Robotics http://www-clmc.usc.[...]
_[88] 웹사이트 Simple Reinforcement Learning with Tensorflow Part 8: Asynchronous Actor-Critic Agents (A3C) https://medium.com/e[...] 2016-12-17
_[89] 서적 A Survey on Policy Search for Robotics http://eprints.linco[...] NOW Publishers
_[90] 학회 Integrated Architectures for Learning, Planning and Reacting based on Dynamic Programming
_[91] 학회 Self-improving reactive agents based on reinforcement learning, planning and teaching https://link.springe[...]
_[92] 학회 When to use parametric models in reinforcement learning? https://proceedings.[...]
_[93] 웹사이트 05mm029.pdf http://www.st.nanzan[...] 남산大学（情報理工学部・数理情報学部） 2024-11-23
_[94] 웹사이트 https://arxiv.org/pd[...]
_[95] 웹사이트 On the Use of Reinforcement Learning for Testing Game Mechanics : ACM - Computers in Entertainment https://cie.acm.org/[...] 2018-11-27
_[96] 학술지 A probabilistic argumentation framework for reinforcement learning agents 2019
_[97] 논문 Reinforcement Learning with Feedback from Multiple Humans with Diverse Skills 2021-11-16
_[98] 학술지 Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation http://dl.acm.org/ci[...] Curran Associates Inc. 2016
_[99] 웹사이트 Reinforcement Learning / Successes of Reinforcement Learning http://umichrl.pbwor[...] 2017-08-06
_[100] 웹사이트 Smartphones get smarter with Essex innovation https://www.business[...] 2021-06-17
_[101] 학술지 User Interaction Aware Reinforcement Learning for Power and Thermal Efficiency of CPU-GPU Mobile MPSoCs https://ieeexplore.i[...] 2020-03-01
_[102] 웹사이트 Future smartphones 'will prolong their own battery life by monitoring owners' behaviour' https://inews.co.uk/[...] 2021-06-17
_[103] 서적 Embodied Artificial Intelligence Springer
_[104] 학술지 Keep your options open: an information-based driving principle for sensorimotor systems
_[105] 서적 Intrinsically Motivated Learning in Natural and Artificial Systems https://people.cs.um[...] Springer
_[106] 논문 Deep Execution - Value and Policy Based Reinforcement Learning for Trading and Beating Market Benchmarks 2020
_[107] 논문 Self-organizing maps for storage and transfer of knowledge in reinforcement learning 2019
_[108] pdf https://www.ipsj.or.[...]
_[109] 서적 Dynamic, Genetic and Chaotic Programming: The Sixth-Generation Computer Technology Series John Wiley & Sons, Inc 1992-05-06
_[110] 논문 An Introduction to Deep Reinforcement Learning 2018
_[111] 논문 Human-level control through deep reinforcement learning https://www.semantic[...] 2015
_[112] 논문 Explaining and Harnessing Adversarial Examples 2015
_[113] 논문 Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks 2017
_[114] 서적 Adversarial Attacks on Neural Network Policies http://worldcat.org/[...] 2017-02-07
_[115] 논문 Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs. 2022
_[116] 논문 Fuzzy Q-learning: a new approach for fuzzy dynamic programming https://ieeexplore.i[...] IEEE 1994
_[117] 서적 2017 IEEE 15th International Symposium on Applied Machine Intelligence and Informatics (SAMI) IEEE 2017
_[118] 서적 Proceeding ICML '00 Proceedings of the Seventeenth International Conference on Machine Learning
_[119] 논문 A comprehensive survey on safe reinforcement learning https://jmlr.org/pap[...] 2015-01-01
_[120] 서적 Reinforcement Learning and Markov Decision Processes https://link.springe[...] Springer, Berlin, Heidelberg 2012
_[121] 논문 Reinforcement Learning: A Survey http://dx.doi.org/10[...] 1996